3D detection of roof sections from a single satellite image and application to LOD2-building reconstruction

Reconstructing urban areas in 3D out of satellite raster images has been a long-standing and challenging goal of both academical and industrial research. The rare methods today achieving this objective at a Level Of Details $2$ rely on procedural approaches based on geometry, and need stereo images and/or LIDAR data as input. We here propose a method for urban 3D reconstruction named KIBS(\textit{Keypoints Inference By Segmentation}), which comprises two novel features: i) a full deep learning approach for the 3D detection of the roof sections, and ii) only one single (non-orthogonal) satellite raster image as model input. This is achieved in two steps: i) by a Mask R-CNN model performing a 2D segmentation of the buildings' roof sections, and after blending these latter segmented pixels within the RGB satellite raster image, ii) by another identical Mask R-CNN model inferring the heights-to-ground of the roof sections' corners via panoptic segmentation, unto full 3D reconstruction of the buildings and city. We demonstrate the potential of the KIBS method by reconstructing different urban areas in a few minutes, with a Jaccard index for the 2D segmentation of individual roof sections of $88.55\%$ and $75.21\%$ on our two data sets resp., and a height's mean error of such correctly segmented pixels for the 3D reconstruction of $1.60$ m and $2.06$ m on our two data sets resp., hence within the LOD2 precision range

Finding Good Configurations of Planar Primitives in Unorganized Point Clouds

International audienceWe present an algorithm for detecting planar primitives from unorganized 3D point clouds. Departing from an initial configuration, the algorithm refines both the continuous plane parameters and the discrete assignment of input points to them by seeking high fidelity, high simplicity and high completeness. Our key contribution relies upon the design of an exploration mechanism guided by a multiobjective energy function. The transitions within the large solution space are handled by five geometric operators that create, remove and modify primitives. We demonstrate the potential of our method on a variety of scenes, from organic shapes to man-made objects, and sensors, from multiview stereo to laser. We show its efficacy with respect to existing primitive fitting approaches and illustrate its applicative interest in compact mesh reconstruction, when combined with a plane assembly method

Repairing geometric errors in 3D urban models with kinetic data structures

International audience3D urban models created either interactively by human operators or automatically with reconstruction algorithms often contain geometric and semantic errors. Correcting them in an automated manner is an important scientific challenge. Prior work, which traditionally relies on local analysis and heuristic-based geometric operations on mesh data structures, is typically tailored-made for specific 3D formats and urban objects. We propose a more general method to process different types of urban models without tedious parameter tuning. The key idea lies on the construction of a kinetic data structure that decomposes the 3D space into polyhedra by extending the facets of the imperfect input model. Such a data structure allows us to rebuild all the relations between the facets in an efficient and robust manner. Once built, the cells of the polyhedral partition are regrouped by semantic classes to reconstruct the corrected output model. We demonstrate the robustness and efficiency of our algorithm on a variety of real-world defect-laden models and show its competitiveness with respect to traditional mesh repairing techniques from both Building Information Modeling (BIM) and Geographic Information Systems (GIS) data

Sharp Feature Consolidation from Raw 3D Point Clouds via Displacement Learning

Detecting sharp features in raw point clouds is an essential step in designing efficient priors in several 3D Vision applications. This paper presents a deep learning-based approach that learns to detect and consolidate sharp feature points on raw 3D point clouds. We devise a multi-task neural network architecture that identifies points near sharp features and predicts displacement vectors toward the local sharp features. The so-detected points are thus consolidated via relocation. Our approach is robust against noise by utilizing a dynamic labeling oracle during the training phase. The approach is also flexible and can be combined with several popular point-based network architectures. Our experiments demonstrate that our approach outperforms the previous work in terms of detection accuracy measured on the popular ABC dataset. We show the efficacy of the proposed approach by applying it to several 3D Vision tasks

GWASdb: a database for human genetic variants identified by genome-wide association studies

Recent advances in genome-wide association studies (GWAS) have enabled us to identify thousands of genetic variants (GVs) that are associated with human diseases. As next-generation sequencing technologies become less expensive, more GVs will be discovered in the near future. Existing databases, such as NHGRI GWAS Catalog, collect GVs with only genome-wide level significance. However, many true disease susceptibility loci have relatively moderate P values and are not included in these databases. We have developed GWASdb that contains 20 times more data than the GWAS Catalog and includes less significant GVs (P < 1.0 × 10−3) manually curated from the literature. In addition, GWASdb provides comprehensive functional annotations for each GV, including genomic mapping information, regulatory effects (transcription factor binding sites, microRNA target sites and splicing sites), amino acid substitutions, evolution, gene expression and disease associations. Furthermore, GWASdb classifies these GVs according to diseases using Disease-Ontology Lite and Human Phenotype Ontology. It can conduct pathway enrichment and PPI network association analysis for these diseases. GWASdb provides an intuitive, multifunctional database for biologists and clinicians to explore GVs and their functional inferences. It is freely available at http://jjwanglab.org/gwasdb and will be updated frequently

Exploring genetic associations with ceRNA regulation in the human genome

Abstract Competing endogenous RNAs (ceRNAs) are RNA molecules that sequester shared microRNAs (miRNAs) thereby affecting the expression of other targets of the miRNAs. Whether genetic variants in ceRNA can affect its biological function and disease development is still an open question. Here we identified a large number of genetic variants that are associated with ceRNA's function using Geuvaids RNA-seq data for 462 individuals from the 1000 Genomes Project. We call these loci competing endogenous RNA expression quantitative trait loci or ‘cerQTL’, and found that a large number of them were unexplored in conventional eQTL mapping. We identified many cerQTLs that have undergone recent positive selection in different human populations, and showed that single nucleotide polymorphisms in gene 3΄UTRs at the miRNA seed binding regions can simultaneously regulate gene expression changes in both cis and trans by the ceRNA mechanism. We also discovered that cerQTLs are significantly enriched in traits/diseases associated variants reported from genome-wide association studies in the miRNA binding sites, suggesting that disease susceptibilities could be attributed to ceRNA regulation. Further in vitro functional experiments demonstrated that a cerQTL rs11540855 can regulate ceRNA function. These results provide a comprehensive catalog of functional non-coding regulatory variants that may be responsible for ceRNA crosstalk at the post-transcriptional level

Reconstruction et Correction de Modèles Urbains à l'Aide de Structures de Données Cinétiques

Compact and accurate digital 3D models of buildings are commonly used by practitioners for the visualization of existing or imaginary environments, the physical simulations or the fabrication of urban objects. Generating such ready-to-use models is however a difficult problem. When created by designers, 3D models usually contain geometric errors whose automatic correction is a scientific challenge. When created from data measurements, typically laser scans or multiview images, the accuracy and complexity of the models produced by existing reconstruction algorithms often do not reach the requirements of the practitioners. In this thesis, I address this problem by proposing two algorithms: one for repairing the geometric errors contained in urban-specific formats of 3D models, and one for reconstructing compact and accurate models from input point clouds generated from laser scanning or multiview stereo imagery. The key component of these algorithms relies upon a space-partitioning data structure able to decompose the space into polyhedral cells in a natural and efficient manner. This data structure is used to both correct geometric errors by reassembling the facets of defect-laden 3D models, and reconstruct concise 3D models from point clouds with a quality that approaches those generated by Computer-Aided-Design interactive tools.My first contribution is an algorithm to repair different types of urban models. Prior work, which traditionally relies on local analysis and heuristic-based geometric operations on mesh data structures, is typically tailored-made for specific 3D formats and urban objects. We propose a more general method to process different types of urban models without tedious parameter tuning. The key idea lies on the construction of a kinetic data structure that decomposes the 3D space into polyhedra by extending the facets of the imperfect input model. Such a data structure allows us to re-build all the relations between the facets in an efficient and robust manner. Once built, the cells of the polyhedral partition are regrouped by semantic classes to reconstruct the corrected output model. I demonstrate the robustness and efficiency of the algorithm on a variety of real-world defect-laden models and show its competitiveness with respect to traditional mesh repairing techniques from both Building Information Modeling (BIM) and Geographic Information Systems (GIS) data.My second contribution is a reconstruction algorithm inspired by the Kinetic Shape Reconstruction method, that improves the later in different ways. In particular, I propose a data fitting technique for detecting planar primitives from unorganized 3D point clouds. Departing from an initial configuration, the technique refines both the continuous plane parameters and the discrete assignment of input points to them by seeking high fidelity, high simplicity and high completeness. The solution is found by an exploration mechanism guided by a multi-objective energy function. The transitions within the large solution space are handled by five geometric operators that create, remove and modify primitives. I demonstrate its potential, not on buildings only, but on a variety of scenes, from organic shapes to man-made objects.Les modèles numériques 3D compacts et précis de bâtiments sont couramment utilisés par les praticiens pour la visualisation d’environnements existants ou imaginaires, les simulations physiques ou la fabrication d’objets urbains. La génération de tels modèles prêts à l’emploi est cependant un problème difficile. Lorsqu’ils sont créés par des designers, les modèles 3D contiennent généralement des erreurs géométriques dont la correction automatique est un défi scientifique. Lorsqu’ils sont créés à partir de mesures de données, généralement des balayages laser ou des images multivues, la précision et la complexité des modèles produits par les algorithmes de reconstruction existants n’atteignent souvent pas les exigences des praticiens. Dans cette thèse, j’aborde ce problème en proposant deux algorithmes : l’un pour réparer les erreurs géométriques contenues dans les formats spécifiques de modèles de bâtiments, et l’autre pour reconstruire des modèles compacts et précis à partir de nuages de points générés à partir d’un balayage laser ou d’images stéréo multivues. Le composant clé de ces algorithmes repose sur une structure de données de partitionnement d’espace capable de décomposer l’espace en cellules polyédriques de manière naturelle et efficace. Cette structure de données permet à la fois de corriger les erreurs géométriques en réassemblant les facettes de modèles 3D chargés de défauts, et de reconstruire des modèles 3D à partir de nuages de points avec une précision et complexité proche de celles générées par les outils interactifs de Conception Assistée par Ordinateur.Ma première contribution est un algorithme pour réparer différents types de modèles urbains. Les travaux antérieurs, qui reposent traditionnellement sur une analyse locale et des heuristiques géométriques sur des maillages, sont généralement conçus sur-mesure pour des formats 3D et des objets urbains spécifiques. Nous proposons une méthode plus générale pour traiter différents types de modèles urbains sans réglage fastidieux des paramètres. L’idée clé repose sur la construction d’une structure de données cinétiques qui décompose l’espace 3D en polyèdres en étendant les facettes du modèle d’entrée imparfait. Une telle structure de données permet de reconstruire toutes les relations entre les facettes de manière efficace et robuste. Une fois construites, les cellules de la partition polyédrique sont regroupées par classes sémantiques pour reconstruire le modèle de sortie corrigé. Je démontre la robustesse et l’efficacité de l’algorithme sur une variété de modèles réels chargés de défauts et montre sa compétitivité par rapport aux techniques traditionnelles de réparation de maillage à partir de données de modélisation des informations du bâtiment (BIM) et de systèmes d’information géographique (SIG).Ma deuxième contribution est un algorithme de reconstruction inspiré de la méthode Kinetic Shape Reconstruction, qui améliore cette dernière de différentes manières. En particulier, je propose une technique pour détecter des primitives planaires à partir de nuages de points 3D non organisés. Partant d’une configuration initiale, la technique affine à la fois les paramètres du plan continu et l’affectation discrète de points d’entrée à ceux-ci en recherchant une haute fidélité, une grande simplicité et une grande complétude. La solution est trouvée par un mécanisme d’exploration guidé par une fonction énergétique à objectifs multiples. Les transitions dans le grand espace des solutions sont gérées par cinq opérateurs géométriques qui créent, suppriment et modifient les primitives. Je démontre son potentiel, non seulement sur des bâtiments, mais sur une variété de scènes, des formes organiques aux objets fabriqués par l’homme

Reconstruction et correction de modèles urbains à l'aide de structures de données cinétiques

Compact and accurate digital 3D models of buildings are commonly used by practitioners for the visualization of existing or imaginary environments, the physical simulations or the fabrication of urban objects. Generating such ready-to-use models is however a difficult problem. When created by designers, 3D models usually contain geometric errors whose automatic correction is a scientific challenge. When created from data measurements, typically laser scans or multiview images, the accuracy and complexity of the models produced by existing reconstruction algorithms often do not reach the requirements of the practitioners. In this thesis, I address this problem by proposing two algorithms: one for repairing the geometric errors contained in urban-specific formats of 3D models, and one for reconstructing compact and accurate models from input point clouds generated from laser scanning or multiview stereo imagery. The key component of these algorithms relies upon a space-partitioning data structure able to decompose the space into polyhedral cells in a natural and efficient manner. This data structure is used to both correct geometric errors by reassembling the facets of defect-laden 3D models, and reconstruct concise 3D models from point clouds with a quality that approaches those generated by Computer-Aided-Design interactive tools.My first contribution is an algorithm to repair different types of urban models. Prior work, which traditionally relies on local analysis and heuristic-based geometric operations on mesh data structures, is typically tailored-made for specific 3D formats and urban objects. We propose a more general method to process different types of urban models without tedious parameter tuning. The key idea lies on the construction of a kinetic data structure that decomposes the 3D space into polyhedra by extending the facets of the imperfect input model. Such a data structure allows us to re-build all the relations between the facets in an efficient and robust manner. Once built, the cells of the polyhedral partition are regrouped by semantic classes to reconstruct the corrected output model. I demonstrate the robustness and efficiency of the algorithm on a variety of real-world defect-laden models and show its competitiveness with respect to traditional mesh repairing techniques from both Building Information Modeling (BIM) and Geographic Information Systems (GIS) data.My second contribution is a reconstruction algorithm inspired by the Kinetic Shape Reconstruction method, that improves the later in different ways. In particular, I propose a data fitting technique for detecting planar primitives from unorganized 3D point clouds. Departing from an initial configuration, the technique refines both the continuous plane parameters and the discrete assignment of input points to them by seeking high fidelity, high simplicity and high completeness. The solution is found by an exploration mechanism guided by a multi-objective energy function. The transitions within the large solution space are handled by five geometric operators that create, remove and modify primitives. I demonstrate its potential, not on buildings only, but on a variety of scenes, from organic shapes to man-made objects.Les modèles numériques 3D compacts et précis de bâtiments sont couramment utilisés par les praticiens pour la visualisation d'environnements existants ou imaginaires, les simulations physiques ou la fabrication d'objets urbains. La génération de tels modèles prêts à l'emploi est cependant un problème difficile. Lorsqu'ils sont créés par des designers, les modèles 3D contiennent généralement des erreurs géométriques dont la correction automatique est un défi scientifique. Lorsqu'ils sont créés à partir de mesures de données, généralement des balayages laser ou des images multivues, la précision et la complexité des modèles produits par les algorithmes de reconstruction existants n'atteignent souvent pas les exigences des praticiens. Dans cette thèse, j'aborde ce problème en proposant deux algorithmes : l'un pour réparer les erreurs géométriques contenues dans les formats spécifiques de modèles de bâtiments, et l'autre pour reconstruire des modèles compacts et précis à partir de nuages ​​de points générés à partir d'un balayage laser ou d'images stéréo multivues. Le composant clé de ces algorithmes repose sur une structure de données de partitionnement d'espace capable de décomposer l'espace en cellules polyédriques de manière naturelle et efficace. Cette structure de données permet à la fois de corriger les erreurs géométriques en réassemblant les facettes de modèles 3D chargés de défauts, et de reconstruire des modèles 3D à partir de nuages ​​de points avec une précision et complexité proche de celles générées par les outils interactifs de Conception Assistée par Ordinateur.Ma première contribution est un algorithme pour réparer différents types de modèles urbains. Les travaux antérieurs, qui reposent traditionnellement sur une analyse locale et des heuristiques géométriques sur des maillages, sont généralement conçus sur-mesure pour des formats 3D et des objets urbains spécifiques. Nous proposons une méthode plus générale pour traiter différents types de modèles urbains sans réglage fastidieux des paramètres. L'idée clé repose sur la construction d'une structure de données cinétiques qui décompose l'espace 3D en polyèdres en étendant les facettes du modèle d'entrée imparfait. Une telle structure de données permet de reconstruire toutes les relations entre les facettes de manière efficace et robuste. Une fois construites, les cellules de la partition polyédrique sont regroupées par classes sémantiques pour reconstruire le modèle de sortie corrigé. Je démontre la robustesse et l'efficacité de l'algorithme sur une variété de modèles réels chargés de défauts et montre sa compétitivité par rapport aux techniques traditionnelles de réparation de maillage à partir de données de modélisation des informations du bâtiment (BIM) et de systèmes d'information géographique (SIG). Ma deuxième contribution est un algorithme de reconstruction inspiré de la méthode Kinetic Shape Reconstruction, qui améliore cette dernière de différentes manières. En particulier, je propose une technique pour détecter des primitives planaires à partir de nuages ​​de points 3D non organisés. Partant d'une configuration initiale, la technique affine à la fois les paramètres du plan continu et l'affectation discrète de points d'entrée à ceux-ci en recherchant une haute fidélité, une grande simplicité et une grande complétude. La solution est trouvée par un mécanisme d'exploration guidé par une fonction énergétique à objectifs multiples. Les transitions dans le grand espace des solutions sont gérées par cinq opérateurs géométriques qui créent, suppriment et modifient les primitives. Je démontre son potentiel, non seulement sur des bâtiments, mais sur une variété de scènes, des formes organiques aux objets fabriqués par l'homme